Efficient Block Cyclic Data Redistribution

Implementing linear algebra kernels on distributed memory parallel computers raises the problem of data distribution of matrices and vectors among the processors. Block-cyclic distribution seems to suit well for most algorithms. But one has to choose a good compromise for the size of the blocks (to achieve a good computation and communication eeciency and a good load balancing). This choice heavily depends on each operation, so it is essential to be able to go from one distribution to another very quickly. We present here the algorithms we implemented in the SCALAPACK library. A complexity study is made that proves the eeciency of our solution. Timing results on the Intel Paragon and the Cray T3D corroborates the results. We show the gain that can be obtained using the good data distribution with 3 numerical kernels and our redistribution routines. Redistribution eecace des donn ees stock ees par blocs entrelac es R esum e : L'implantation de noyaux d'alg ebre lin eaire sur les machines parall eles a m emoire distribu ee pose le probl eme du choix de la distribution des donn ees pour les matrices et les vecteurs sur les dii erents processeurs. Une distribution bloc-cyclique semble convenir pour la plupart des algorithmes, mais un compromis est n ecessaire dans le choix de la taille des blocs (pour avoir a la fois des calculs et communications eecaces et une bonne r epartition de charge). Le choix optimal est dii erent pour chaque algorithme, et il est donc essentiel de pouvoir passer d'une distribution a l'autre tr es rapidement. Nous pr esentons ici les algorithmes de redistribution que nous avons implant es dans la biblioth eque SCALAPACK. Une etude de complexit e vient ensuite prouver l'eecacit e des solutions choisies. Les performances obtenues sur Intel Paragon et Cray T3D corroborent nos r esultats. Nous montrons le gain obtenu en utilisant une bonne distribution des donn ees avec 3 noyaux de calcul numerique et nos fonctions de redistribution.